iT邦幫忙

2023 iThome 鐵人賽

DAY 7
0
AI & Data

30天胡搞瞎搞學會pyspark系列 第 7

[ Day 7 ] - Pyspark | 清理 - 時間篇 - 1 : Timestamp 轉換 : to_timestamp()

  • 分享至 

  • xImage
  •  

各種各樣的轉換,時間
今天是星期五,應該是容許水一天的吧

1. to_timestamp(col,format)

基本上就是針對日期格式做相對應的轉換!

詳細情境:
當你的pyspark版本超過2.X版之後,對於日期格式的format 就變得非常嚴格,這個部分要多多注意
可以使用spark.sql("set spark.sql.legacy.timeparserpolicy=exception")切換成與舊版相容,才能夠切到喜歡的格式

#Timestamp String to DateType
df = df.withColumn("Date",to_timestamp(col("Date"), "yyyy-mm-dd"))

上一篇
[ Day 6 ] - Pyspark | 介紹 - DataFrame篇 - Sample
下一篇
[ Day 8 ] - Pyspark | 清理 - 時間篇 - 2 Timestamp 轉換 : User Defined Function 的出現
系列文
30天胡搞瞎搞學會pyspark30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言